Hoàn Ôn lớn lên khi miền bắc Trung Quốc bị các tộc người Hồ ở phương bắc tràn xuống xâm chiếm, gọi là họa Ngũ Hồ, nhà Tấn phải chạy xuống miền Giang Nam. Miền bắc lúc đó có các nước Thành Hán, Hậu Triệu và Tiền Yên.

Hoàn Ôn nổi danh, được Tấn Minh Đế gả công chúa Nam Khang và trở thành phò mã nhà Tấn rồi được phong làm phò mã Đô uý. Sau đó, ông lần lượt giữ chức thái thú Lang Nha, thứ sử Từ châu.

Ông được người bạn là Chinh nam tướng quân Dữu Lý tiến cử với Tấn Thành Đế và được Thành đế phong làm An tây tướng quân, đô đốc quân sự 6 châu của nhà Đông Tấn, kiêm chức Hộ Nam Man hiệu uý, Kinh châu thứ sử.

Nắm binh quyền trong tay, Hoàn Ôn quyết chí tiêu diệt Ngũ Hồ ở phương bắc. Ông thường tự ví mình với Lưu Côn, tướng nhà Tây Tấn để lại tấm gương quả cảm chống Ngũ Hồ.

Khi đó nước Thành Hán ở đất Thục, sau khi vua khai quốc là Lý Hùng chết (334), con cháu tranh đoạt quyền hành, thế nước suy yếu. Vua Thành Hán là Lý Thế mất lòng dân Thục. Nước Thành Hán là yếu hơn cả trong các nước của người Hồ.

Năm 346, Hoàn Ôn dẫn quân tây tiến. Khi hơn 1 vạn quân của Hoàn Ôn lên đường, triều đình vẫn lo ngại vì trong nhiều năm, quân Tấn thường bị thất thế trước quân Ngũ Hồ.

Tháng 2 năm 347, Hoàn Ôn dẫn quân vượt qua Kiến Vi đến Thanh Y rồi Bành Mô. Các tướng muốn chia quân làm 2 đường cùng tấn công, nhưng Hoàn Ôn theo ý kiến của Viên Kiều, sợ chia quân 2 đường sẽ phân tán ý tưởng, nên tập trung quân vào 1 hướng mà đánh trận đầu để thống nhất toàn quân. Khi đối diện với quân Lý Thế, quân Tấn hăng hái tiến lên đánh tan quân địch.

Lý Thế bỏ chạy về Thành Đô. Hoàn Ôn đuổi theo tới Thành Đô phóng hoả đánh phá thành. Lý Thế bỏ thành chạy đến Hà Âm và sai người mang thư đến xin hàng. Hoàn Ôn thuận cho Thế đầu hàng. Nước Thành Hán bị tiêu diệt.